已经开发出各种工具和实践来支持从业者识别,评估和减轻AI系统造成的公平相关危害。然而,现有研究突出了这些工具和实践的预期设计与特定背景下的使用之间的差距,包括由组织因素在塑造公平工作中发挥的作用引起的差距。在本文中,我们研究了一个这样的实践的这些差距:AI系统的分类评估,旨在揭示人口统计组之间的表现差异。通过在三个技术公司的十支队伍中进行半结构化访谈和三十三名艾尔从业人员,我们在设计分列的评估时,我们识别从业者的流程,挑战,并对支持的需求。我们发现从业者在选择绩效指标时面临挑战,识别最相关的直接利益相关者和在其上进行重点的人口统计集团,并收集其进行分类评估的数据集。更一般地说,我们识别对公平工作的影响,这些工作缺乏与直接利益相关者的订婚,优先考虑通过边缘化群体的客户,以及以规模部署AI系统的驱动器。
translated by 谷歌翻译